DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩
DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
来自主题: AI技术研报
7259 点击 2024-05-12 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
Diffusion 不仅可以更好地模仿，而且可以进行「创作」。扩散模型（Diffusion Model）是图像生成模型的一种。有别于此前 AI 领域大名鼎鼎的 GAN、VAE 等算法，扩散模型另辟蹊径，其主要思想是一种先对图像增加噪声，再逐步去噪的过程，其中如何去噪还原图像是算法的核心部分。而它的最终算法能够从一张随机的噪声图像中生成图像。
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。
Stable Diffusion 3，它终于来了！
今日份炸弹又来了！深夜，Stability AI放出了Stable Diffusion 3.0，它采用了和爆火Sora同样的DiT架构，画面质量、文字渲染、复杂对象理解大提升，Midjourney、DALL-E 3都显得黯然失色了。
，Stability AI 推出了新一代图像合成模型 Stable Diffusion XL Turbo，引发了一片叫好。人们纷纷表示，图像到文本生成从来没有这么轻松。